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数据 中 心 网 络 中 基于 SDN 的 大 象 流 负载 均衡 的 研究 ， 


A 玲 ， 束 永安 
(安徽 大 学 计算 机 科学 与 技术 学 院 , 合肥 230601) 


摘 要 : 针对 数据 中 心 网 络 中 大 象 流 携带 大 量 数据 造成 网 络 拥塞 和 负载 不 均衡 的 问题 ,提出 基于 SDN(software defined 
network) 的 大 象 流 负载 均衡 (elephant flow load balancing ，EFLB)。 当 网 络 负 和 载 超 过 阅 值 时 ， 控 制 器 利用 Openflow 特性 
将 检测 到 的 大 象 流 分 裂 为 多 个 老鼠 流 ， 并 根据 收集 的 网 络 拓扑 和 链 路 状态 动态 地 计算 负载 最 小 的 下 一 跳 交 换 机 ， 确 保 
负载 均衡 。 实 验 结 果 表 明 ， 相 比 于 等 价 多 路 径路 算法 (equal-costmulit-path routing ，ECMP)，EFLB 机 制 提 高 网 络 吞 吐 
量 和 链 路 利用 率 ， 更 好 地 实现 网 络 负载 均衡 。 
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Research on load balancing of elephant flow based on SDN In Data Center Network 


Jin Ling!, Shu Yongan? 
(College of Computer Science & Technology Anhui University, Hefei 230601, China) 


Abstract: To solve the problems of network congestion and load imbalance caused by elephant flow that carries large amounts 
of data in data center networks. This paper proposed an SDN based load balancing mechanism of elephant flow(EFLB) . When 
network load exceeded the threshold, the controller split the detected elephant flows down into multiple mice flows by 
Openflow feature and calculated dynamically the minimum load switch according to the collected network topology and link 
states to ensure load balancing. Experimental results show that the EFLB achieves network load balancing by improving the 
network throughput and link utilization compared with ECMP((equal-cost mulit-path routing) . 
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0 均衡 问题 ， 本 文 提出 数据 中 心 网 络 基于 SDN 大 象 流 负载 均 稀 
二 机 制 (EFLB)。 该 机 制 以 轮 询 方式 监听 网 络 ， 当 网 络 负载 超过 阐 
随 着 大 数据 和 云 计算 的 发 展 ， 网 络 的 规模 不 断 地 扩大 ， 会 。” 值 时 ， 控 制 器 将 检测 到 的 大 象 流 分 裂 为 多 个 老鼠 流 ， 并 利用 从 
出 现 拥塞 问题 、 延 迟 时 间 长 和 低 春 吐 量 问题 。 软 件 定义 网 络 。 数据 平面 收集 的 网 络 拓 扑 和 链 路 状态 动态 计算 出 多 个 下 一 跳 交 
(SDN) 是 将 底层 物理 设备 的 控制 功能 分 离 出 的 新 型 范例 。SDN ” 换 机 中 负载 最 小 的 交换 机 ， 用 于 发 送 分 裂 的 老鼠 流 。 该 文 使 用 
实现 了 网 络 流量 的 灵活 控制 和 优化 资源 管理 。 控 制 器 通过 mininet 和 胖 树 网 络 拓扑 来 评估 提出 的 机 制 的 性 能 。 模拟 实验 结 
OpenFlow0 南 向 协议 对 交换 机 中 流 表 进行 操作 ， 实 现 对 数据 平 。 果 证 明 , 提出 的 EFLB 机 制 明显 提高 网 络 符 吐 量 和 链 路 利用 率 。 
面 的 控制 功能 。OpenFlow 为 每 个 流 提供 了 三 种 统计 计数 ( 包 、 


二 


人 


Ri 


1 “相关 工 
字 节 和 持续 时 间 )P。 人 
Benson 等 人 发 现 80% 的 流 小 于 10KB( 老 鼠 流 )， 而 10% 前 ，sFlow 是 高 速 网 络 中 主要 的 通过 抽样 检测 大 流 的 流 
的 流 则 具有 大 量 数据 或 生存 周期 长 (大 象 流 )。 网 络 中 大 象 流 数 。” 量 检测 ,然而 检测 大 象 流 的 准确 性 受到 抽样 比例 的 影响 。Sun 等 


所 | 


量 少 于 网 络 流 数量 的 10%， 但 却 占 网 络 流量 的 80% 外 。 研 究 发 。 人 中 对 检测 大 象 流 的 各 种 数据 包 抽样 方法 进行 比较 ， 发 现 依赖 

见 在 出 口 端的 队列 中 老鼠 流 经 常 在 大 象 流 后 面 ， 造 成 长 时 间 队 ”抽样 比 独立 抽样 的 准确 性 高 。Lan 等 人 针 提 出 DLPO 算法 ， 适 

列 延迟 5E4。 为 了 高 效 管理 网 络 ， 控 制 器 是 没有 必要 处 理 所 有 的 ”用 于 不 同 的 数据 中 心 网 络 拓扑 。 通 过 在 流传 输 过 程 中 变换 流 路 

流 ， 只 集中 于 对 网 络 性 能 有 重要 影响 的 流 的 操作 。 因 此 ， 对 大 ” 径 ， 对 网 络 流量 进行 负载 均衡 ， 提 高 了 网 络 性 能 。 

象 流 的 识别 和 指定 合适 的 转发 策略 是 十 分 重要 的 。 严 军 荣 等 人 外 提出 一 种 大 象 流 两 级 识别 方法 。 提 出 一 种 大 
为 了 解决 数据 中 心 网 络 由 大 象 流 造成 的 网 络 拥塞 和 负载 不 象 流 两 级 识别 方法 ， 在 第 一 阶段 采用 基于 TCP 发 送 队 列 的 识 
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对 大 象 流 识别 的 准确 性 


Liu 等 人 5] 提 日 


出 根据 动态 计算 多 路 径 的 权 习 
径 权重 改变 大 象 流 的 路 径 ， 从 而 减少 网 络 负载 。 
是 对 大 象 流 更 改 路 径 ， 会 造成 目标 路 径 上 老鼠 流 的 延迟 。Xing 


的 自 


别 算法 检测 可 疑 大 象 流 ， 在 第 二 阶段 采用 基于 流 持 续 时 间 的 识 
别 算 法 检测 真实 大 象 流 , 减 少 流 识别 
SDN 数据 中 心 网 络 的 二 级 


正 误 率 和 负 错 误 率 ， 设 计 对 检测 系统 


开销。Bi 等 人 0 提出 在 
自 适应 大 象 流 检测 系统 , 通过 最 小 化 
适应 性 阔 值 ， 提 高 了 
E， 并 减少 了 控制 器 处 型 


E 大 象 流 的 负载 。 


H 基 于 SDN 的 大 象 流 负载 均衡 机 制 (SD-LB)， 提 


的 加 权 多 路 径路 | 


算法 。 根 据 路 


然而 该 方法 只 


2.1 
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金 玲 ， 等 ; 数据 中 心 网 络 中 基于 SDN 的 大 象 源 员 载 均 衡 的 研究 


大 象 流 检测 机 制 


EFLB 机 制 由 于 是 将 大 象 流 分 裂 成 老鼠 流 ， 再 将 其 
多 条 路 径 , 因此 首先 需要 大 象 流 检测 机 


判 。 本 文采 用 


Bi 等 人 09 


提出 的 在 SDN 数据 中 心 网 络 的 二 级 自 适应 大 象 流 检 测 系 统 对 


大 象 流 进行 检测 。 
测 ， 提 高 了 对 大 象 流 检 测 的 准 


确 性 。 


象 流 ， 


E 误 率 和 负 错 误 动 态 调整 其 闵 值 ， 从 而 提 


它 是 在 终端 主机 的 应 用 程序 对 大 象 流 进行 检 
采用 该 检测 系统 检测 出 大 
对 其 进行 标记 。 该 检测 系统 首先 采用 包 抽样 来 区 分 老 
鼠 流 和 怀疑 的 大 象 流 。 将 怀疑 的 大 象 流 送 到 第 
小 化 了 


二 阶段 ， 通 过 最 
高 检测 大 象 流 的 


等 人 0 提出 基于 数据 包 的 采样 与 提取 的 二 级 大 流 检测 机 制 ， 首 


先 会 检测 出 可 疑 的 大 象 流 , 再 使 用 基 
决定 真实 的 大 流 ， 从 而 提高 检测 大 象 流 
资源 

大 象 流 检测 的 、 


于 流 计数 方法 的 TCAM 来 
E 确 性 。 然 而 TCAM 
限 ， 会 消耗 TCAM 资源 。Chakraborty 等 人 03 提 出 无 须 
将 大 象 流 破坏 成 老鼠 流 的 高 效 多 路 径路 | 


的 ; 


机 


会 增加 成 


制 , 从 而 减少 流 完成 时 间 。 然 而 由 于 需要 验证 流 是 否 是 大 象 流 ， 


本 ， 而 且 会 需要 大 量 TCAM 资源 。Wang 等 人 09 提 出 为 大 


象 流 和 老鼠 流动 态 分 配 路 径 算法 。 根 据 
大 象 流 分 配 高 吞吐 量 路 径 和 为 老鼠 流 规 


划 


仅 保 证 老鼠 流 的 低 延 迟 而 且 保 证 了 大 象 流 的 高 吞吐 


等 人 05 提 出 通过 找到 大 象 流 和 核心 / 聚 
来 提高 大 流 的 性 能 ， 从 而 避免 拥塞 。 


2 EFLB 机 制 


针对 数据 中 心 网 络 的 大 象 流 造成 的 
于 SDN 的 大 象 流 负载 均衡 机 制 (EFLB) 
闵 值 56， 控制 器 中 的 监控 模块 会 实时 监 


平均 吞吐 量 大 于 闪 值 5 ， 就 会 启动 EFLB 机 制 


ul 


防止 网 络 阻塞 。 


» 


听 数 据 平 台 ?7 


制 器 根据 动态 计算 的 链 路 状态 将 老鼠 流 发 送 到 多 条 路 径 ， 从 而 


拥塞 问题 ， 本 文 提出 基 
设置 EFLB 机 制 启动 


且 
F 衡 网 络 负 载 ， 


全 局 网 络 状态 ， 分 别 为 
氏 延 迟 路 径 ， 从 而 不 


量 。Zhang 


交换 机 的 稳定 的 匹配 


准确 性 。 
2.2 网络 拓扑 


这 个 模块 处 理 、 生 成 和 分 析 网 络 中 所 有 交换 机 的 LLDP 数 


据 包 。 交 换 机 将 拓扑 信息 传 给 控制 器 ， 控 币 


I 


1 器 中 该 模块 将 网 络 


拓扑 图 传 给 链 路 计算 模块 用 于 链 路 的 计算 选择 ， 并 根据 拓扑 信 


息 实 时 更 新 。 
2.3 ”网络 监听 


首先 ， 设 置 EFLB 机 制 启动 阐 值 65。 如 
闵 值 5 ，EFLB 机 制 则 会 启动 , 检测 出 大 象 流 , 将 其 
发 送 到 多 个 路 径 ， 


老鼠 流 ， 并 根据 网 络 链 路 状态 将 其 


果 网 络 负载 大 于 该 


拥塞 。 阔 值 6 的 值 在 后 面 的 网 络 


半 树 拓扑 图 


分 裂 为 多 个 
防止 网 络 


实验 中 决定 。 


在 该 模块 中 ， 需 要 更 新 和 存储 所 有 OpenFlow 交换 机 统计 


数据 ,这 些 统计 数据 需要 | 


] 于 链 路 计算 模块 来 计算 链 路 的 负载 。 


OpenFlow 协议 提供 了 查询 交换 机 的 功能 , 以 查找 匹配 特定 规则 


或 通过 特定 端口 的 流 中 的 数据 包 数 或 字 节 数 。 对 于 网 络 上 的 每 


个 链接 ， 


以 字 节 数 来 收集 实际 的 链接 使 用 ， 使 用 这 些 信息 来 计 


算 每 个 链 路 的 实时 可 用 带宽 。 此 信息 将 帮 有 
议 ， 达 到 网 络 负载 平衡 和 服务 质量 的 目的 。 


部 署 自 定义 路 由 协 


为 了 获得 统计 数据 ， 该 模块 需要 在 固定 的 间隔 时 间 轮 询 
OpenFlow 交换 机 流量 统计 信息 。 支 持 OpenFlow 的 交换 机 可 以 


首先 终端 主机 检测 大 象 流 ， 将 大 象 流 分 裂 成 老鼠 流 后 ， 控 


提供 每 个 流量 统计 信息 ， 每 个 队列 统计 信息 以 及 每 个 端口 聚合 


确保 网 络 负载 均衡 。 本 文 的 EFLB 机 制 框架 如 图 1 所 示 。 
Controller 
一 一 | 链 路 计算 
折 耻 径 
网 络 拓扑 网 络 监听 “| | 大 象 流 管理 
下 | 不 不 | 
本 党 | | 贤 睹 | | 问 
Openflow 交换 机 
流 表 


| 标记 的 包 


终端 主机 应 用 程序 


大 象 流 检 测 


图 1 EFLB 机 制 的 框架 


统计 信息 。 


获取 整个 流 统计 的 一 种 简单 的 方法 是 固 


个 流 的 路 径 轮 询 查询 交换 机 ， 
网 络 施 


并 合并 


如 太 多 的 通信 开销 ， 因 为 它 以 流 为 基础 


重复 请 求 和 回复 消息 9。 监控 的 准确 性 和 网 络 开销 取决 于 轮 询 


定 间 隔 时 间 沿 着 每 
结果 。 然 


j ， 该 策略 对 
收集 统计 信息 : 


交换 机 的 频率 。 因 此 ， 有 必要 对 流量 行为 进行 自 适应 监控 ， 当 
流量 到 达 或 改变 其 使 用 特性 时 ， 增 加 的 轮 询 间隔 ， 


统计 收敛 到 稳定 的 行为 时 
测量 的 准确 性 还 取决 


， 减 少 轮 询 间隔 。 


计数 器 的 数量 受到 交换 机 和 控制 网 络 带宽 上 昂贵 的 功 耗 较 大 的 
回路 延迟 是 从 交换 机 发 送 计数 器 到 控 
的 结束 的 延迟 ， 包 括 传播 延迟 ， 控 制 
器 算法 延迟 和 切换 规则 安装 延迟 0。 对 于 较 远 的 控制 器 实时 收 
集 测量 信息 和 分 析 较 为 困难 。 因 为 发 送 测量 数据 的 延迟 和 带宽 


TCAM 数量 的 限制 。 控 利 
制 器 到 安装 新 的 计数 规 贝 


的 开销 。 


以 及 当 流 量 


于 可 用 计数 器 的 数量 和 控制 回路 延迟 : 


由 于 控制 器 需要 从 交换 机 收集 实时 流量 统计 信息 ， 控 制 器 
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录用 稿 金 ” 玲 ， 等 : 数据 中 心 网 络 中 基于 SDN 的 大 象 


通过 周期 地 向 数据 平面 发 送 Read-State 消息 维持 计数 器 和 网 络 将 大 象 流 分 裂 的 老鼠 流 发 送 到 ss 

状态 。 当 控制 器 请 求 流 统计 时 ， 交 换 机 应 返回 所 有 查询 流 的 计 end 

数 器 。 这 必然 会 在 交换 机 上 造成 开销 。 当 查询 更 多 流 条 目 时 ， 
ee 3 ”性 能 评估 

CPU 负载 增加 。 

“ 轮 询 全 部 交换 机 ”策略 被 过 度 使 用 ， 则 会 由 于 从 不 同 交 3.1 模拟 环境 搭建 和 设置 模拟 参数 


换 机 重复 收集 相同 的 流量 统计 信息 而 带 来 额外 的 开销 。 因 为 多 该 文 使 用 Floodlight 控制 器 和 mininet 仿真 器 , 并 使 用 胖 树 
个 交换 机 可 能 具有 相同 的 流 条 目 09。 拓扑 如 图 2 所 示 。 
2.4 大 象 流 管理 RN 

将 大 象 流 分 裂 老鼠 的 基本 思想 是 利用 基于 Openflow 协议 /ss A < SS、 -一 一 Sy 


的 流 条 目 删除 特征 的 hard_time 值 。 根 据 Openflow 协议 的 流 表 | er 
删除 特征 ， 流 条 目 在 交换 机 中 持续 的 时 间 为 T， 即 hard_time 属 RN 
性 的 值 为 T。 该 文 在 交换 机 安装 一 个 hard_time 值 为 T 的 主动 
流 条 目 和 hard_time 值 为 2T 备用 流 条 目 。 当 主动 流 条 目 经 过 时 六 
间 工 后 被 删除 时 ， 备 用 流 条 目 变 成 主动 流 条 目 ， 并 且 将 流 切 换 OY 
到 另 一 个 链 路 ， 即 备用 流 条 目的 出 口 端 发 生 改 变 。 因 为 大 象 流 
生存 时 间 长 ， 数 据 量 大 ， 大 象 流 的 出 口 再 不 断 变化 。 最 终 ， 大 
象 流 被 分 裂 成 多 个 老鼠 流 。 所 有 交换 机 都 是 OpenFlow 交换 机 ， 控 制 平面 使 用 
当 EFLB 机 制 检测 到 大 象 流 时 ， 大 象 流 管理 模块 需要 安装 “OpenFlow 1.3 与 数据 平面 进行 交互 。 在 模拟 实验 之 前 ， 为 了 设 
一 个 主动 流 条 目 和 备用 流 条 目 。 因 为 流 表 的 满 期 机 制 ， 第 一 个 ” 置 EFLB 机 制 启 动 阔 值 6， 本 文 计算 在 不 同 网 络 负载 的 平均 知 
主动 流 条 目 在 交换 机 中 持续 T 时 间 后 删除 ， 交 换 机 必须 发 送 流 。” 吐 量 。 如 图 3 所 示 能 够 看 到 在 网 络 负载 在 800 M 时 ， 吞 吐 量 达 
条 目 删除 消息 给 控制 器 。 控 制 器 接收 到 流 条 目 删除 消息 ， 大 象 。 到 最 大 值 ， 因 此 ， 本 文选 取 吞 吐 量 最 大 时 网 络 负载 的 70% 为 启 
流 管理 模块 必须 安装 hard_time 值 为 2T 并 且 优先 级 小 于 主动 流动 阔 值 5。 


图 2 ” 胖 树 拓扑 lc 


all 


党 


条 目的 备用 条 目 。 而 原先 的 备用 流 条 目 则 变 成 主动 流 条 目 。 本 文 定义 在 3 分 钟 之 内 携带 流量 超过 全 部 网 络 流量 的 0.03% 
2.5 链 路 计算 的 流 为 大 象 流 并 设置 链 路 带宽 和 链 路 传播 延迟 分 别 为 100Mbps 


为 了 防止 数据 中 心 网 络 大 象 流 造 成 的 网 络 阻塞 ， 充 分 利用 和 1lhs。 在 该 实验 中 , 用 Iperf 产生 流量 并 遵从 泊 松 分 布 。 本 文 
网 络 带宽 。 当 检测 到 大 象 流 时 ， 利 用 OpenFlow 的 流 条 目 删除 ”提出 的 EFLB 机 制 与 ECMP 算法 和 SD-LB 算法 进行 了 比较 。 
特性 将 大 象 流 分 裂 成 老鼠 流 ， 链 路 计算 模块 会 根据 从 交换 机 收 ” 3.2 实验 结果 
集 到 的 统计 信息 将 分 裂 的 老鼠 流 发 送 到 多 条 链 路 来 平衡 网 络 负 吞吐 量 和 网 络 时 延 是 评价 网 络 性 能 的 重要 指标 ， 反 映 了 网 
载 。 该 模块 的 主要 部 分 是 链 路 优化 算法 。 链 路 优化 算法 是 网 络 。 络 的 拥塞 程度 。 
监听 模块 从 数据 平面 收集 的 统计 信息 和 网 络 拓扑 来 计算 交换 机 
的 负载 ， 选 择 多 个 下 一 跳 交 换 机 中 负载 最 小 的 交换 机 用 于 发 送 
大 象 流 分 裂 的 老鼠 流 。 
2.6 链 路 优化 算法 

本 文 用 入 ix 表示 当前 第 k 个 交换 机 的 在 接口 i 的 吞吐 量 。 


旺 


交换 机 的 负载 相对 于 其 他 交换 机 的 负载 用 式 (1) 表示 。 3 eu0 
Dt 让 500 
Li,k = FIA (1) 
EJ 400 
链 路 优化 算法 如 下 a 
while( 大 象 流 分 裂 结束 ) 人 


负载 (M) 
图 3 不 同 负载 的 网 络 吞 吐 量 


foreach( 下 一 跳 交 换 机 k 接口 i) 


Ai 
Lix 2 如 图 3 所 示 ， 发 现 EFLB 机 制 明显 提 高 了 网 络 的 吞吐 量 ， 
这 是 由 于 EFLB 机 制 将 大 象 流 分 裂 为 多 个 老鼠 流 ， 并 将 其 发 送 
end 到 负载 小 的 路 径 。 而 ECMP 算法 没有 改变 大 象 流 路 径 ， 当 网 络 
ss={k|nin(Li)} 负载 增 大 时 ， 大 象 流 带 有 大 量 数 据 会 被 阻塞 。SD-LB 算法 只 是 
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将 大 象 流 更 改 路 径 。 因 为 大 象 流 携带 大 量 数据 ， 更 改 路 径 后 可 
能 会 阻塞 更 改 后 的 路 径 。 


EFLB 
SD-LB 
ECMP 


+ 
pe n 


延迟 (Us) 
人 
4 
> 
nm 
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图 4 不 同 负载 的 网 络 时 延 


吏 
六 | 


4 显示 了 随 着 网 络 负载 的 增 大 导致 网 络 时 延 的 变化 。 
为 ECMP 和 SD-LB 没有 分 裂 大 象 流 ， 老 鼠 流 有 可 能 在 大 象 流 
后 面 会 导致 时 延 的 增加 。 而 EFLB 将 大 象 流 分 裂 为 老鼠 流 ， 并 
发 送 到 多 条 链 路 ， 减 小 网 络 时 延 。 


500 600 700 800 900 1000 
负载 (M) 
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5 不 同 负载 的 链 路 利用 率 
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5 显示 了 随 着 网 络 负载 的 增加 导致 链 路 利用 率 的 变化 。 
于 ECMP 和 SD-LB 没有 分 裂 大 象 流 ， 只 是 改变 了 大 象 流 的 
路 径 ， 并 没有 充分 利用 网 络 链 路 。 而 EFLB 机 制 则 分 裂 大 象 流 
为 多 个 老鼠 流 ， 并 发 送 到 多 条 路 径 ， 明 显 提高 了 链 路 利用 率 。 


4 结束语 


于 大 象 流 是 网 络 中 携带 大 量 数据 或 生存 周期 长 的 流 ， 会 
发 现 老 鼠 流 经 常 在 大 象 流 队列 后 面 ， 严 重 影响 网 络 性 能 。 所 以 
针对 大 象 流 ， 提 出 数据 中 心 网 络 基于 SDN 的 大 象 流 负载 均衡 
机 制 (EFLB), 控 制 器 将 检测 到 的 大 象 流 分 裂 为 多 个 老鼠 流 , 并 利 
用 从 数据 平面 收集 的 网 络 拓 扑 和 链 路 状态 动态 计算 出 多 个 下 一 
跳 交 换 机 中 负载 最 小 的 交换 机 ， 用 于 发 送 老鼠 流 。 对 提出 的 
EFLB 机 制 进行 仿真 实验 ， 结 果 显 示 提 出 的 EFLB 机 制 明显 提 
高 了 网 络 的 吞吐 量 和 链 路 利用 率 。 下 一 步 ， 进 行 分 析 hard_time 
值 的 对 网 络 的 影响 , 找到 合适 的 hard_time 值 , 将 大 象 流 分 裂 合 
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